『ChatGPTの頭の中 (ハヤカワ新書 009)』

https://m.media-amazon.com/images/I/71Hdlq2OhTL._SY522_.jpg https://www.amazon.co.jp/ChatGPT%E3%81%AE%E9%A0%AD%E3%81%AE%E4%B8%AD-%E3%83%8F%E3%83%A4%E3%82%AB%E3%83%AF%E6%96%B0%E6%9B%B8-009-%E3%82%B9%E3%83%86%E3%82%A3%E3%83%BC%E3%83%B4%E3%83%B3%E3%83%BB%E3%82%A6%E3%83%AB%E3%83%95%E3%83%A9%E3%83%A0/dp/4153400092/ref=tmm_pap_swatch_0?_encoding=UTF8&qid=1702682549&sr=1-1

我々はまだこのAIチャットボットの「本当の意味での凄さ」に気付いていない？

ChatGPTの生みの親であるサム・アルトマン（OpenAI CEO）が、本書を「最高の解説書」であると絶賛！

ChatGPTはなぜ動くのか？ 内部で何が起きているのか？　ベースとなるニューラルネットの働きを図版を交えてわかりやすく解説するとともに、人の言語生成の謎に深く切り込む話題作

話題の対話型AI（人工知能）、ChatGPTが即座に生み出す「あたかも自然な言葉」に驚愕した人は多いはず。我々の生活やビジネスに大きな影響を与えつつあるChatGPTはどのような仕組みで、なぜ機能するのかを、その原理から科学的に解明するのが本書。

プログラミングによって生まれたニューラルネットが自然な言語生成を可能にした先に、限界はあるのか？ さらに、ChatGPTの原理を解析することで見えてきた「言語の法則」や「思考の法則」という“人間にとって最大級の発見”を示唆する。

本書後半ではChatGPTの弱点を指摘し、計算能力に特化したサービスと組み合わせて性能を劇的に向上させる方法を提案。利用者にとってもプログラマー・エンジニアにとっても大きなヒントとなる、ChatGPT基礎の徹底解説本。

【本書より】

“ChatGPTの成功は、根源的で重要な科学の一端について、その証拠を私たちに突きつけていると考えられる。最大級の「言語の法則」を、ひいては「思考の法則」を新たに発見できるかもしれない可能性を示唆しているということだ。ニューラルネットとして構築されている以上、ChatGPTではそうした法則はあったとしても暗黙的である。そこで、どうにかしてその法則を明白にできれば、ChatGPTが行なうようなことを、もっと直接的、効率的に、そして理解しやすい形で広げられる可能性が秘められているのだ。”

分水界

猫の画像を見て、「これは猫だ」と判断したとき、脳がどのような情報処理をしてそうなったのかを自分で説明することはできない

学習中のニューラルネットは見せられた個々のサンプルを元にして「汎化」を行っている

「現時点でどれだけ遠いか」を評価するときに、損失関数（コスト関数）が使われる

得られた値と目的の値との差を二乗し、その総和を求める

ChatGTPで使われる重みは1750億個

ニューラルネットでは、単純な問題よりも複雑な問題のほうが容易に解ける

重み変数が大量にあると、高次元の空間に多方面の道ができ、それが最小値につながることがある。

変数が少なくなると、局所最小値にはまりこんでしまい、そこから抜け出す道がなくなる